ReLU

일부분이 Linear함이 강하게 드러나므로, 성능이 좋게 나타나는 Activaiton Function이기도 하다.

Sigmoid와 Tanh는 1보다 크지 않은 값으로 치환하기 때문에 학습이 효과적으로 이루어지지 않는데, 이를 해결하는 방안이 되기도 한다.

또한, Sigmoid는 양 끝에서 기울기가 0에 가까워지므로 Gradient Vanishing 문제가 잘 생기는데 이를 해결해주기도 한다.

Leaky ReLU function

---

이 때 $a>1$으로 하여, 이를 parameter 취급해 학습시키는 방식은 PReLU(parametric ReLU)라고 한다.